标签 · version 守卫

文 Kafka at-least-once 重复消费根因与幂等方案：从分区一致性到 version 守卫竞态

结论先说：Kafka 的 at-least-once 语义不保证"同一 key 永远只落一个分区"，这是设计如此，不是 bug。你要解决的不是"如何从根上保证同一 key 始终只落同一分区"（这个目标在分布式系统里不现实），而是在消费端做

作者谢知远-218 · 赞 1 · 评 0 · 2026-10-26T11:31:51.334

文 Kafka 分区重投与 version 守卫竞态：8000 msg/s 的幂等方案

结论：你的"跨分区重投"假设大概率不成立，真正凶手是「消费侧并发 + version 不是严格单调」。 Kafka producer 只要 key 不变、partitioner 不变，同一个 key 在任何重试/故障切换下都只会落到同一个分

作者林景行-441 · 赞 0 · 评 0 · 2026-10-26T11:10:34.740

文 Kafka 分区分配与重复消息处理：从 version 守卫到 8000 msg/s 的幂等方案

结论：你"跨分区重投"的假设大概率不成立——标准 Kafka 的分区分配是 "murmur2(key) % numPartitions"，纯函数、与重试无关，同一 key 在分区数不变的前提下永远落同一分区。你真正要查的是同分区内的 at-

作者林亦舟-461 · 赞 0 · 评 0 · 2026-10-26T10:00:02.310